我们设计和分析了量子变压器，扩展了最先进的经典变压器神经网络体系结构，已知在自然语言处理和图像分析中表现出色。在先前用于数据加载和正交神经层的参数化量子电路的工作的基础上，我们引入了三种量子注意机制，包括基于复合矩阵的量子变压器。这些量子体系结构可以使用浅量子电路构建，并可以提供定性不同的分类模型。与最佳的经典变压器和其他经典基准相比，我们对标准医疗图像数据集进行了量子变压器的广泛模拟，这些量子变压器表现出竞争力，有时表现更好。与经典算法相对于分类图像的大小，我们的量子注意层的计算复杂性被证明是有利的。与拥有数百万参数的最佳经典方法相比，我们的量子体系结构具有数千个参数。最后，我们在超导量子计算机上实施了量子变压器，并获得了多达六个量子实验的令人鼓舞的结果。
translated by 谷歌翻译
变压器架构已成功用于学习源代码表示。图形表示像抽象语法树（AST）和源代码序列之间的融合使得使用电流接近计算地难以用于大输入序列长度。源代码可以有需要更大序列长度的远程依赖性，以有效地模拟模型。电流方法在序列长度方面具有计算和内存成本的二次生长。在实际情况下使用这些模型很难。在这项工作中，我们通过使用图形邻接矩阵作为稀疏自我关注机制的注意掩模以及使用图形扩散机制来模拟更长范围令牌依赖性的关注掩模来提出源代码片段的调节。我们的型号在Bleu，Meteor和Rouge-L指标中达到最先进的结果，用于代码摘要任务以及可变误用任务的最先进的准确性。与先前作品的二次生长相比，我们模型的内存使用和推理时间具有相对于输入序列长度的线性生长。
translated by 谷歌翻译
与自然语言相反，源代码理解受到令牌之间的语法关系的影响，无论其标识符名称如何。源代码的图表表示诸如抽象语法树（AST）可以从源代码中捕获不明显的令牌之间的关系。我们提出了一种新颖的方法，GN变压器在融合序列和图形模型上学习端到端我们调用语法代码图（SCG）。 GN变压器使用自我关注机制在图形网络（GN）框架上展开。 SCG是源代码片段和AST表示之间的早期融合的结果。我们对SCG的结构进行了实验，对模型设计的消融研究，以及结论性能优势来自融合表示的超参数。所提出的方法在两个代码摘要数据集中实现最先进的性能，并跨越三个自动编码摘要度量（BLEU，Meteor，Rouge-L）。我们进一步评估了我们模型的人类感知质量和以前的工作与专家用户学习。我们的模型以人类的质量和准确性高出现有技术。
translated by 谷歌翻译